Elasticsearch：使用最新的 Elasticsearch Java client 8.0 来创建索引并搜索
这篇文章，我来详细地描述如何使用最新的 Elasticsearch Java client 8.0 来创建索引并进行搜索。最新的 Elasticsearch Java client API 和之前的不同。在之前的一些教程中，我们使用 High Level API来进行操作。在官方文档中，已经显示为
ELK之Elasticsearch常用curl命令
一、前言：其实官网上都有相关的kibana API按照curl的形式赋值出来就行了。举个例子：如下对比查看索引的kibana指令与curl指令。#kibana指令,查看es集群下的索引GET /_cat/indices?v#如下为复制出来的对应curl指令#注:对于使用者来说记得把ip:port更换
Doris进阶——初识Doris_FE、BE、BROKER的扩缩容
Doris的简单介绍以及FE、BE、BROKER的扩缩容
Flink面试题
文章目录1、spark streaming 和 flink 的区别2、Flink 的容错机制（checkpoint）3、Flink 中的 Time 有哪几种4、对于迟到数据是怎么处理的5、Flink 的运行必须依赖 Hadoop 组件吗6、Flink 资源管理中 Task Slot 的概念7、Fli
Greenplum 数据库
Greenplum数据库是业界最快最高性价比的关系型分布式数据库,它在开源的PostgreSQL的基础上采用MPP架构（Massive Parallel Processing，海量并行处理）,具有强大的大规模数据分析任务处理能力。GreenPlum作为大数据融合存储平台中众多数据库之一，与其他数据库
Hadoop环境搭建及常见问题解决（保姆级教程）
学习大数据的路上，肯定少不了Hadoop的陪伴。在学习Hadoop之初，一件"痛苦"的事情莫过于装环境，看着别人万事亨通，而自己跌跌撞撞，个中心酸，有几人懂...本教程为保姆式教程，力图帮您排忧解难。主要内容如下：【资源准备】 => 【环境准备】 => 【JDK的安装】 => 【Ha
大数据之Hive:regexp_extract函数
目录一、正则的通配符简介1、正则表达式的符号及意义2、各种操作符的运算优先级：二、regexp_extract函数一、正则的通配符简介1、正则表达式的符号及意义符号含义实列/做为转意，即通常在"/"后面的字符不按原来意义解释如" * “匹配它前面元字符0次或多次，/a*/将匹配a,aa,aaa，加了
【kafka可视化工具】kafka-eagle在windows环境的下载、安装、启动与访问
本文目录一、Kafka eagle的下载步骤一：访问官方网站：Download - EFAK步骤二：点击 Direct File Download二、kafka-eagle的安装步骤一：解压缩包步骤二：再解压缩Web客户端 三、配置环境变量步骤一：配置 KE_HOME步骤二：配置 path 变量四、
Java面向数据库编程——数据库设计
为什么需要规范的数据库设计通过进行规范化的数据库设计，可以消除不必要的数据冗余，获得合理的数据库设计，提高项目的应用性能。什么是数据库设计就是将数据库中的数据实体及这些数据实体之间的关系，进行规划和结构化的过程。数据库中创建的数据结构的种类，以及在数据实体之间建立的复杂关系是决定数据库系统效率的重要
Scala的安装与配置
Scala安装配置及介绍一、为什么要学Scala1. Scala介绍Scala基于JVM，和Java完全兼容，同样具有跨平台、可移植性性好、方便的垃圾回收等特性是一门函数式编程语言Scala更适合大数据的处理Scala对集合类型数据处理有非常好的支持spark的底层用Scala编写2. Scala特
HBase Windows 安装
在安装HBase之前，我们需要先安装JDK和Hadoop，具体JDK和Hadoop的安装我前面已经做过了，需要的话，请看我的另一篇博客：Hadoop Windows 安装 还是那句话，在安装HBase之前，我们需要搞清楚HBase、Hadoop和Java之间版本的对应关系：我们具体可以看Apache
ES聚合用法
ES中的聚合查询，类似SQL的SUM/AVG/COUNT/GROUP BY分组查询，主要用于统计分析场景。下面先介绍ES聚合查询的核心流程和核心概念。ES聚合查询类似SQL的GROUP by，一般统计分析主要分为两个步骤：对查询的数据首先进行一轮分组，可以设置分组条件，例如：新生入学，把所有的学生按
Doris系列1-Doris介绍
文章目录一. Doris简介二. Doris 整体架构2.1 Doris 整体架构简介2.2 Doris 数据分布2.3 Doris 的使用方式三. Doris关键技术3.1 数据可靠性3.2 易运维3.3 MySQL 兼容性3.4 支持 MPP四. Doris 数据模型4.1 Doris 数据模型
【数据可视化】三款主流开源数据可视化工具对比：Superset、DataEase、MetaBase
现在市场上开源 BI 产品比较多，各个产品的侧重点不同，有的以报表为主、有的以可视化为主、有的以查询分析为主。这里我们选取了一些主流的开源 BI 产品，从产品功能、可视化能力、数据源支持以及使用文档等方面进行对比，希望对你有帮助。由Airbnb贡献的轻量级BI产品，目前在GitHub上有3万多颗星，
【ETL】ETL大数据集成工具Sqoop、dataX、Kettle、Canal、StreamSets大比拼
对于数据仓库，大数据集成类应用，通常会采用ETL工具辅助完成。ETL，是英文 Extract-Transform-Load 的缩写，用来描述将数据从来源端经过抽取（extract）、交互转换（transform）、加载（load）至目的端的过程。当前的很多应用也存在大量的ELT应用模式。常见的ETL
大数据技术之——zookeeper的安装部署
Zookeeper是一个`开源的分布式的`，为分布式应用提供协调服务的Apache项目。Zookeeper从设计模式角度来理解，`是一个基于观察者模式设计的分布式服务管理框架`，它负责存储和管理大家都关心的数据，然后接受观察者的注册，一旦这些数据的状态发生了变化，Zookeeper就负责通知已经在Z
SkyWalking+es部署与使用
第一步下载skywalking :http://skywalking.apache.org/downloads/第二步下载es:https://www.elastic.co/cn/downloads/elasticsearch注：skywalking 和es要版本对应，可从下面连接查看版本对应关系，
hadoop的HDFS的shell命令大全（一篇文章就够了）
HDFS的shell命令1、安全模式安全模式：集群启动时，DN所有的DN都必须向MM汇报磁盘使用状态和block存储信息。在此之前出于对hdfs的保护，会禁止访问hdfs，此状态为安全模式1.查看安全模式状态#查看安全模式状态hdfs dfsasmin --safemode get#-状态-on|o
Python项目（Django）：国内新冠肺炎疫情大数据可视化平台
首先通过python编写的SaveMysqlData.py脚本将关于新冠肺炎疫情的数据从腾讯新闻或者百度新闻的实时疫情动态中直接爬取下来存储入MySQL数据库中，然后运行Django项目进入到登录界面，输入正确的登录账号和密码过后通过Echarts进行绘制图表来进行大屏显示。......
Kettle（Pentaho）用法：job作业中并行作业项执行完后执行下一作业项
本文基于Pentaho的kettle模块实现ETL功能，在spoon中实现创建、定义作业，记录作业job的两种处理并行作业项的方法。
